PolyGnosis 2.0: Enhancing LLM Reasoning via Agentic Harness Engineering for Polymarket and OSINT Insight Extraction
PolyGnosis 2.0：基于Agent工程提升LLM在预测市场与OSINT中的洞察推理
🧭 多智能体协作 · Harness 工程 ★ 深度解读
The Chinese University of Hong Kong · Evolution AI Lab
通过可控消融实验量化多智能体反射、分治等 Harness 技术对推理准确率的效用，发现分治是关键，终端反射有害。
📌 工作参考价值（4 点）
- 组件效益的消融方法论：论文对聚类、推理阶段的反射、工具调用、分治、CoT 进行了系统的 A/B 实验，并量化了准确率、延迟、成本的变化。在电商推荐场景中，也可以类似地逐层解剖多智能体流程，识别真正有效的组件，避免堆砌复杂架构却引入额外噪声。
- 分治策略防信息污染：实验证明全局上下文会导致跨主题干扰，准确率从 0.799 骤降至 0.447。对于电商场景中处理海量商品、类目、用户评论的多源信息聚合，强烈建议按类目或业务线进行物理切分，每个分片独立推理，再汇总结果。
- 警惕终端反思的过度修正：分析阶段加入反思后准确率从 0.799 降至 0.700，尤其在结构化特征（如鲸鱼质量）上误判严重。这启示我们在生成式推荐中，若上游 agent 已经取得较高准确率（~80%），引入二次反思可能因 “解释化” 偏差而覆盖原始正确判断，应严格限制反思的作用域（如仅用于聚类等结构对齐任务）。
- 可插拔的确定性验证器：大模型在“观点对齐”判断中存在严重的“共识偏差”，倾向于输出“consensus”，即使信号矛盾。在推荐解释生成或风控对齐等任务中，可借鉴此发现，在管线末端加入轻量级的规则验证模块，直接对比上游独立输出的结构化标签，强制驱逐叙事漂移。